Learning to Adjudicate: Verifier-Guided Multi-Agent Reasoning for E-Commerce Relevance
裁决学习：验证器引导的多智能体电商相关性推理
🧭 多智能体协作相关性判定 ★ 深度解读
Tsinghua Shenzhen International Graduate School, Tsinghua University · Alibaba International Digital Commerce Group
提出 CADRE 框架，用冻结三专家加可训练 Verifier 做选择性辩论，并以成功经验回放 GRPO 优化后蒸馏到轻量学生模型
📌 工作参考价值（4 点）
- 多智能体架构可迁移：将商品属性、用户意图、平台规则拆成独立 expert，共享冻结 LLM backbone，只训练 Verifier 做证据裁决。相比 all-in-one CoT 避免单一上下文冲突，训练成本低，适合相关性审核、广告质量分等复杂判定。
- 选择性辩论控制成本：只在三专家第一轮 label 不全体一致时触发 Verifier 提问和专家修订；一致时直接采用 initial adjudication。离线/在线都能大幅降低多轮交互开销，尤其适合高 QPS 场景。
- Successful-experience replay：把 terminal label 正确的轨迹存 pool，每个 input 保留最多 8 条，Replay-GRPO 时每个 input 加 2 条 replay 轨迹与 8 条 fresh rollouts 混合算 group advantage。可在有限 rollout budget 下稳定 RL、提升长尾难例。该 trick 可复用到 RLHF/多轮 agent 训练。
- CoT latent distillation：多智能体 teacher 生成 CoT，用 frozen BGE-M3 编码成 embedding，学生 mBERT 加 cosine loss + CE，推理时只过学生模型。线上 A/B RPM +1.69%、CTR +0.76%，RS +0.3pp，说明 reasoning signal 蒸馏到轻量交叉编码器是低成本落地路径。